1
Dinâmica do Aleatório e da Informação
MATH005Lesson 9
00:00
Imagine um mundo em que o futuro não é um caminho fixo, mas uma teia cintilante de possibilidades. Dominar a Dinâmica do Aleatório é pontuar a lacuna entre a evolução estocástica — como os sistemas se movem entre estados — e a quantificação da "novidade" ou surpresa inerente a essas transições.

1. A Arquitetura das Transições de Estado

Considere a lógica do clima. Se assumirmos que a chuva de hoje é o único fator que influencia amanhã, entramos no domínio da dinâmica de Markov. Isso é elegantemente capturado em EXEMPLO 2a:

Suponha que se chover amanhã depende apenas das condições climáticas anteriores através de se está chovendo hoje. Se chove hoje, chove amanhã com probabilidade $\alpha$; caso contrário, chove amanhã com probabilidade $\beta$.

Isso cria uma matriz de transição $P$ onde podemos calcular o fluxo de probabilidades futuras usando o Identidade de Chapman-Kolmogorov:

$$P_{ij}^{(2)} = \sum_{k=0}^{M} P_{kj}P_{ik}$$

2. O Ritmo da Chegada

Aleatoriedade não é apenas sobre onde vamos, mas sim sobre quando os eventos ocorrem. Em um processo de Poisson, rastreamos chegadas discretas (como terremotos ou decaimento radioativo) ao longo do tempo.

  • Tempos entre Chegadas: Para um processo de Poisson, seja $T_1$ o tempo em que ocorre o primeiro evento. Para $n > 1$, seja $T_n$ o tempo decorrido entre o $(n-1)$-ésimo e o $n$-ésimo evento.
  • Estacionariedade: A sequência $\{T_n, n=1, 2, \ldots\}$ consiste em variáveis exponenciais independentes, determinadas pela taxa $\lambda$.

3. Informação como Redução da Surpresa

A teoria da informação, pioneira de Claude Shannon, quantifica a incerteza. Ela repousa em uma fundação algébrica bela, especificamente Axioma 4:

Axioma 4: $S(pq) = S(p) + S(q)$ para $0 < p \le 1, 0 < q \le 1$

Este axioma implica que a surpresa de dois eventos independentes é a soma de suas surpresas individuais, levando diretamente à definição de Entropia de Shannon:

$$H(X) = -\sum_{i=1}^n p_i \log_2(p_i)$$

🎯 Visão Central
As dinâmicas definem as regras do jogo (probabilidades de transição), enquanto a entropia mede quanto aprendemos ao realmente jogar o jogo (ganho de informação). Se $\alpha=1$ e $\beta=1$ no nosso modelo de clima, o sistema é determinístico; a entropia é zero porque a "notícia" não fornece nova informação.